Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution
前沿模型是否需要做引用验证？深度研究来源归属的评判模型基准测试
🧭 LLM裁判校准·评估偏差分析
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S.
对比8个LLM裁判在引用质量评估中的表现，发现便宜模型即可胜任，且标量F1掩盖的方向性偏差会误导RL训练
📌 工作参考价值（4 点）
- 选裁判不必选最贵：在结构化评估任务（如推荐理由真实性、搜索结果相关性）中，GPT-4o-mini等小模型即可获得与大模型相当的F1，可大幅降低离线评估和RL奖励信号的计算成本。
- 单看F1会踩坑：即使各裁判F1相近，其通过率漂移、假阳性/假阴性率可能差异巨大，这会直接扭曲RL训练的优化方向。评估裁判时必须同时报告方向性偏差指标。
- 校准裁判是使用LLM作为奖励模型的前提：在将LLM用于生成式推荐、对话Agent的自动评分时，应先进行类似的人工标注一致性实验，量化裁判的偏差，并选择与业务目标一致的错误偏好（例如宁愿假阴性还是假阳性）。
- 对抗样本测试很重要：论文采用对抗生成的长文本评估集，并人工仲裁困难案例。类似地，在电商搜索中应构建覆盖歧义、多义等难例的评估集，确保裁判鲁棒性。